KI-Sicherheit in Unternehmen: So öffnet KI nur dort Türen, wo sie es soll

Die Arbeit mit KI spart Zeit. Doch was passiert, wenn dabei Informationen offengelegt werden, auf die KI gar nicht zugreifen sollte?

Meldungen über Sicherheitslücken in KI-Anwendungen und neue Angriffsmethoden zeigen, wie schnell aus praktischen Helfern ein Sicherheitsrisiko werden kann. Ob ungewollte Datenzugriffe über Microsoft Copilot oder manipulierte Eingaben, die KI-Systeme zu unerwünschten Aktionen verleiten: Wer KI einsetzt, muss auch kontrollieren, welche Türen sie öffnet.

Künstliche Intelligenz schafft neue Zugänge zu euren Systemen und damit auch zu euren Daten. Mit jeder neuen Anwendung und jeder Schnittstelle wächst die Zahl der möglichen Angriffspunkte. Einige davon sind offensichtlich. Andere bleiben im Arbeitsalltag lange unbemerkt. Die OWASP ® Foundation bringt die Herausforderung treffend auf den Punkt: »Stop trying to build a model that cannot be fooled. Build the system around it, so that when the model is fooled, and it will be, nothing important breaks.«

Was bedeutet KI-Sicherheit eigentlich?

KI-Sicherheit umfasst alle Maßnahmen, mit denen ihr in eurem Unternehmen KI-Systeme, Daten, Schnittstellen und Nutzungsszenarien absichert. Ziel ist es, Risiken zu reduzieren und Missbrauch zu verhindern. Aber genauso wichtig ist es, die Kontrolle über den Einsatz von KI zu behalten.

Klassische IT-Sicherheit bleibt dafür unverzichtbar. Allerdings reicht sie allein nicht aus, wenn KI-Modelle eigenständig Informationen verarbeiten, externe Tools ansteuern oder Aktionen auslösen. Entscheidend sind: der technische Schutz des Systems sowie korrekte Berechtigungen, Datenquellen und Einsatzbedingungen.

Für ein besseres Verständnis hilft die Unterscheidung zwischen zwei Perspektiven: Sicherheit für KI und KI für Sicherheit. Im internationalen Fachdiskurs begegnen euch dafür Begriffe wie AI‑Security, AI‑Safety und AI for Cybersecurity. Sie hängen zusammen, bezeichnen aber nicht dasselbe.

Sicherheit für KI: Die Anwendung selbst schützen

Hier geht es darum, die KI-Anwendung selbst abzusichern. Entscheidend ist, dass das System kontrollierbar bleibt und sensible Informationen nicht ungewollt offengelegt oder missbraucht werden können.

Dazu gehören Fragen wie:

• Sind die verwendeten Daten vertrauenswürdig?
• Kann das Modell manipuliert oder fehlgeleitet werden?
• Werden sensible Informationen sicher verarbeitet?
• Wer darf auf das System zugreifen?
• Welche Schnittstellen, Plug-ins oder Tools sind angebunden?
• Wie lassen sich Missbrauch und unerwünschte Aktionen verhindern?

KI für Cybersicherheit: Angriffe früher erkennen

Die zweite Perspektive dreht den Blick um. Hier dient KI selbst als Werkzeug, um die IT-Sicherheit zu verbessern.

Etwa, wenn intelligente Systeme dabei helfen,

• Bedrohungen früher zu erkennen,
• ungewöhnliche Muster im Netzwerk zu identifizieren,
• Sicherheitsvorfälle zu priorisieren,
• große Datenmengen schneller auszuwerten.

KI wird in diesem Fall selbst zum Werkzeug der Cyberabwehr.

KI-Sicherheit in der Praxis und typische Szenarien

Viele Risiken rund um KI entstehen mitten im Arbeitsalltag und folgen einem typischen Muster. Ein Risiko beginnt mit einem Einstiegspunkt, wird durch technische oder organisatorische Schwächen verstärkt und zeigt sich schließlich in einem konkreten Schaden. Genau diese Logik greift auch die OWASP in ihrer aktuellen Einordnung für GenAI- und LLM-Risiken auf.

Wie teuer solche Sicherheitsprobleme werden können, zeigt der Blick auf die allgemeine Cyberbedrohungslage: Der Gesamtschaden durch Cyberattacken belief sich für die deutsche Wirtschaft 2024 auf 178,6 Milliarden Euro. Rund 30 Milliarden Euro mehr als im Vorjahr.

Für die Praxis ist diese Unterscheidung hilfreich, weil sie den Blick schärft: Nicht jede Schwachstelle ist schon ein Schaden. Und nicht jeder Schaden beginnt an derselben Stelle.

Einstiegspunkte – Entry Vectors

Risiko	Worum geht es?	Beispiel aus der Praxis	Warum wird es kritisch?
Prompt Injections	Modelle werden über Inhalte oder Eingaben gezielt fehlgeleitet.	Versteckte Anweisungen in Dokumenten oder Webseiten beeinflussen das Systemverhalten.	KI kann Informationen offenlegen, Regeln umgehen oder unerwünschte Prozesse anstoßen.
Unsichere Drittanbieter-Tools	Externe Tools oder Plug-ins bringen zusätzliche Abhängigkeiten und potenzielle Schwachstellen in den KI-Einsatz.	Ein KI-Assistent greift über ein Plug-in auf interne Systeme zu, ohne dass klar ist, wie Daten verarbeitet oder weitergegeben werden.	Sicherheitslücken oder unklare Datenflüsse in der Lieferkette können das gesamte System angreifbarer machen.
Daten- oder Model-Poisoning	Trainings-, Kontext- oder Referenzdaten werden gezielt oder unbemerkt so verändert, dass die KI auf einer falschen Grundlage arbeitet.	Eine KI greift auf veraltete oder ungeprüfte Wissensquellen zu und übernimmt fehlerhafte Informationen in ihre Antworten.	Fehlerhafte oder manipulierte Daten können die Qualität und Sicherheit der gesamten Anwendung beeinträchtigen.
Schatten-KI	Teams oder einzelne Mitarbeitende nutzen KI-Tools ohne zentrale Abstimmung oder klare Regeln.	Fachabteilungen testen eigene Workflows oder Tools im Arbeitsalltag.	Es fehlt an Transparenz, Zuständigkeiten und Regeln für Daten, Berechtigungen und Nutzung.

Verstärkende Faktoren – Amplifiers / Machinery

Risiko	Worum geht es?	Beispiel aus der Praxis	Warum wird es kritisch?
Zu weit gefasste Berechtigungen	KI-Systeme oder Agenten erhalten mehr Zugriffsrechte, als sie für ihren eigentlichen Zweck benötigen.	Ein Assistent für Terminplanung oder Recherche kann zusätzlich auf sensible HR- oder CRM-Daten zugreifen.	Wenn ein System fehlgeleitet oder manipuliert wird, steigt der potenzielle Schaden erheblich.
Unklare Integrationen	KI wird mit mehreren Systemen oder Schnittstellen, ohne Rollen, Datenflüsse und Zuständigkeiten sauber zu begrenzen.	Ein KI-Tool ist gleichzeitig mit mehreren Systemen verknüpft, ohne dass die Zugriffspfade vollständig dokumentiert sind.	Je komplexer die Integration, desto schwerer wird es, Risiken zu kontrollieren und Fehlverhalten schnell zu erkennen.
Fehlende Begrenzung von Agenten	Agentische Systeme dürfen eigenständig Schritte ausführen, ohne dass ihr Handlungsspielraum ausreichend eingegrenzt ist.	Ein KI-Agent darf auch Buchungen auslösen, Inhalte versenden oder Datensätze verändern.	Automatisierte Folgeaktionen können Fehler oder Angriffe schnell vervielfachen.
Mangelnde Ausgabekontrolle	KI-Ergebnisse werden ungeprüft übernommen oder direkt in Prozesse weitergegeben.	Eine KI-generierte Empfehlung oder Zusammenfassung wird ohne fachliche Prüfung weiterverwendet.	Fehlerhafte oder manipulierte Inhalte wirken direkt in Entscheidungen oder Prozessen weiter.

Auswirkungen – Impacts

Risiko	Worum geht es?	Beispiel aus der Praxis	Warum wird es kritisch?
Offenlegung sensibler Informationen	Vertrauliche oder personenbezogene Inhalte werden unbeabsichtigt sichtbar oder zugänglich.	Ein KI-System gibt interne Informationen aus, die aus Datenbanken oder verbundenen Systemen stammen.	Datenlecks, Datenschutzverstöße und Vertrauensverlust können die Folge sein.
Fehlerhafte Ausgaben	Die KI erzeugt Antworten oder Empfehlungen, die plausibel wirken, aber sachlich falsch sind.	Eine Analyse oder Handlungsempfehlung wird übernommen, obwohl sie auf unvollständigen oder falschen Informationen beruht.	Fehler gelangen unbemerkt in Prozesse oder Entscheidungen.
Ungewollte Aktionen	KI stößt Prozesse oder Folgehandlungen an, die so nicht vorgesehen waren.	Ein Assistent verschickt Nachrichten, obwohl die Grundlage dafür fehlerhaft oder manipuliert war.	Aus einem einzelnen Fehler kann schnell ein operativer oder sicherheitsrelevanter Vorfall werden.
Hoher Ressourcenverbrauch	KI-Nutzung oder Angriffe führen zu übermäßigem Verbrauch von Rechenleistung oder API-Kosten.	Ein Dienst erzeugt ungewöhnlich viele Anfragen oder verarbeitet große Mengen unnötiger Eingaben.	Kosten steigen, Systeme werden belastet und im Extremfall in ihrer Verfügbarkeit eingeschränkt.

Die Risiken unterscheiden sich, haben aber einen gemeinsamen Nenner: Sie entstehen häufig dort, wo Daten, Berechtigungen und technische Systeme zusammenkommen, ohne dass die Kontrolle darüber ausreicht.

Ein einzelnes Verbot oder eine zusätzliche Sicherheitssoftware löst dieses Problem nicht. Ihr braucht einen verlässlichen Rahmen, der den Einsatz von KI steuert und absichert.

Kleiner Exkurs: Bot-Traffic und KI-Crawler

Ein verwandtes, aber nicht neues Thema ist der enorm gestiegene automatisierte Traffic durch KI-gestützte Bots und Crawler. Problematisch wird es, sobald Bots gezielt dafür eingesetzt werden, Schwachstellen automatisiert aufzuspüren oder Systeme unter Last zu setzen. Betreibt ihr öffentliche Portale oder Commerce-Systeme, dann solltet ihr die Entwicklungen unbedingt in eure Sicherheitsstrategie einbeziehen.

Diese Regeln helfen euch, KI in der Praxis sicher einzusetzen

Einzelmaßnahmen sind besser als nichts. Über die Sicherheit entscheidet jedoch der gesamte Rahmen. Denn alles muss wie ein Zahnrad ineinandergreifen.

Das gilt auch für die Cybersicherheit. Obwohl 83 Prozent der Unternehmen in ihre Cybersicherheitsstrategien investieren, war mehr als die Hälfte 2024 von Cyberangriffen betroffen. Investitionen allein garantieren also keinen Schutz.

1. Legt fest, welche KI-Tools erlaubt sind

Ihr solltet eindeutig regeln, welche Tools in welchem Umfang durch Mitarbeitende genutzt werden dürfen. Dazu gehören auch Regeln für die Dateneingabe: Welche Daten dürfen in welchem System genutzt werden? Zudem gilt es zu klären, wo und wann welche Freigaben notwendig sind. Diese Richtlinien helfen euch, die Sicherheitsaspekte unter Kontrolle zu bringen und schaffen zugleich Sicherheit im Umgang mit den Anwendungen.

2. Vergebt Zugriffsrechte für euer Team und für KI-Systeme nur nach dem tatsächlichen Bedarf

Es bringt euch nichts, wenn ihr allen Mitarbeitenden Zugriff auf alle vorhandenen Tools einräumt. Vergebt Zugänge daher sinnvoll und begrenzt sie entsprechend den Aufgaben eures Teams. Orientiert euch am Prinzip der minimalen Rechte. Das begrenzt den möglichen Schaden, wenn ein Konto kompromittiert oder ein KI-System manipuliert wird. Gleiches gilt auch für KI-Systeme und angebundene Tools. KI sollte nur auf Details zugreifen, die sie für ihren konkreten Zweck tatsächlich braucht.

3. Schützt sensible Daten bereits bei der Eingabe

Nicht jede Information gehört in jedes KI‑System. Prüft daher, welche Daten verarbeitet werden dürfen und welche Schutzmaßnahmen dafür notwendig sind. Dazu gehören u.a. Zugriffsbeschränkungen, Verschlüsselung, Datenminimierung und klare Vorgaben für Speicherung und Verarbeitung. Wo möglich, solltet ihr personenbezogene oder vertrauliche Informationen vor der Verarbeitung reduzieren oder anonymisieren. Entscheidend ist, dass der Schutz nicht erst dann greift, wenn ein Datenleck bereits entstanden ist.

4. Überwacht laufende KI-Prozesse und technische Auffälligkeiten

Auch eine sorgfältig konfigurierte KI kann falsche Ergebnisse liefern oder sich anders verhalten als erwartet. Deshalb endet die Sicherheitsprüfung nicht mit der Einführung. Sowohl individuelle Ergebnisse als auch automatisierter Output eines KI-Modells müssen überprüft werden. Wobei ihr letzteres stärker überwachen müsst. Behaltet relevante Systemaktivitäten im Blick und prüft, ob Zugriffe oder Systemverhalten vom vorgesehenen Rahmen abweichen. Bei kritischen Ergebnissen braucht es zusätzlich fachliche Prüfungen. So könnt ihr Fehlverhalten und Sicherheitsprobleme erkennen, bevor sie größere Folgen haben.

5. Macht Entscheidungen und Zugriffe nachvollziehbar

Wer hat eine KI-Anwendung freigegeben? Welche Daten verarbeitet sie? Welche Systeme sind angebunden? Und wer ist für die Überwachung verantwortlich? Lasst ihr diese Fragen ungeklärt, wird es schwierig, Risiken zu bewerten oder Sicherheitsvorfälle aufzuklären. Dokumentiert deshalb eingesetzte Systeme, Berechtigungen, Schnittstellen, Zuständigkeiten und bekannte Risiken. Haltet außerdem fest, welche Änderungen vorgenommen wurden und wie relevante Entscheidungen zustande kamen. Transparenz schafft die Grundlage dafür, dass ihr auch im laufenden Betrieb die Kontrolle behaltet.

6. Betrachtet die gesamte Lieferkette der Lösungen

Es ist wichtig, dass ihr wisst, wo die verwendeten Tools betrieben werden. Die eingesetzten Anbieter und ihre technischen Abhängigkeiten spielen eine Rolle. Findet das Hosting beispielsweise in der EU oder außerhalb der EU statt? Weiterhin spielen auch die Vertrags- und Rahmenbedingungen eine Rolle. All das solltet ihr gründlich prüfen. Je besser ihr eure Abhängigkeiten kennt, desto fundierter könnt ihr Risiken bewerten und geeignete Schutzmaßnahmen festlegen.

7. Human-in-the-Loop: Sorgt bei kritischen Ergebnissen und Aktionen für menschliche Kontrolle

KI kann hilfreich sein und Prozesse beschleunigen. Ohne Frage. Bei sensiblen Entscheidungen oder automatisierten Folgeaktionen solltet ihr jedoch unbedingt menschliche Expertise zwischenschalten. Geschwindigkeit sollte nicht zulasten der Sicherheit gehen. Denn sonst entsteht schnell ein großes Datenchaos oder die falschen Informationen gelangen an unerwünschte Stellen. Der Mensch sollte unbedingt die Kontrolle behalten, um Risiken abzufangen, bevor sie entstehen.

Von der Richtlinie zur Praxis: So führt ihr KI sicher ein

Wenn ihr euch an diesen sieben Regeln orientiert, habt ihr bereits eine hervorragende Basis geschaffen. Es braucht nicht immer den großen Wurf. Mit Bedacht und Strategie sorgt ihr für Transparenz und Klarheit. Doch was könnt ihr tun, wenn ein Teammitglied den Einsatz eines neuen KI-Tools vorschlägt oder die Anbindung eines KI-Systems diskutiert wird? An diesem Punkt entscheidet sich, ob KI-Sicherheit Teil des Arbeitsalltags wird oder lediglich in einer Richtlinie steht.

Startet mit einem klar abgegrenzten Use Case

Wählt zunächst einen Anwendungsfall mit erkennbarem Mehrwert und überschaubaren Risiken. Je klarer die Aufgabe definiert ist, desto besser könnt ihr beurteilen, welche Maßnahmen es braucht.

Ein begrenzter Einstieg erleichtert es außerdem, Erfahrungen zu sammeln, bevor ihr die Anwendung auf weitere Bereiche ausweitet.

Bewertet Risiken, bevor ihr ein Tool freigebt

Schaut gleich zu Beginn genauer hin und fragt euch, noch bevor ein Tool produktiv eingesetzt wird:

• Welche Daten verarbeitet das System?
• Auf welche Anwendungen und Schnittstellen greift es zu?
• Welche Aktionen kann es selbstständig auslösen?
• Welche Datenschutz- und Compliance-Anforderungen gelten?
• Welche Folgen hätte ein Fehler oder eine Manipulation?

Aus diesen Antworten leitet ihr ab, welche Schutzmaßnahmen notwendig sind und unter welchen Bedingungen ihr die Anwendung freigeben könnt.

Bringt die richtigen Bereiche zusammen

KI-Projekte betreffen meist mehrere Verantwortungsbereiche gleichzeitig. Die IT bewertet die technische Integration, das Security-Team die Angriffsflächen, der Datenschutz die Verarbeitung personenbezogener Daten und Legal die relevanten rechtlichen Rahmenbedingungen.

Bringt diese Perspektiven früh zusammen. So lassen sich Sicherheitslücken und offene Fragen klären, bevor sie den Rollout verzögern oder nachträgliche Änderungen erforderlich machen.

Macht euer Team fit für den sicheren Einsatz

Die besten Tools nützen euch nichts, wenn euer Team sie nicht kennt oder anwendet. Schulungen helfen euch bei der Wissensweitergabe. Die Schwerpunkte sind unter anderem:

• Welche KI-Systeme dürfen genutzt werden?
• Welche Informationen dürfen eingegeben werden?
• Wie lassen sich fehlerhafte oder manipulierte Ergebnisse erkennen?
• Wann ist eine zusätzliche Prüfung oder Freigabe erforderlich?
• An wen können sich Mitarbeitende bei Unsicherheiten wenden?

Je verständlicher die Vorgaben sind, desto leichter lassen sie sich im Arbeitsalltag umsetzen.

Führt KI schrittweise ein und verbessert den Schutz laufend

Ein überschaubarer Einstieg bringt euch hier schneller voran. Zu Beginn ist es wichtig, dass ihr Erfahrung mit dem Prozess sammelt, diesen bei Bedarf nachschärft und die definierten Sicherheitsmaßnahmen weiterentwickelt.

Erst wenn die Ergebnisse überzeugen, solltet ihr den Einsatz ausweiten. Verändert sich die Anwendung, etwa durch neue Datenquellen oder zusätzliche Berechtigungen, muss auch die Risikobewertung aktualisiert werden. So entwickelt sich KI-Sicherheit mit dem System weiter und bleibt nicht stehen.

KI stärkt die IT-Sicherheit – wenn ihr sie richtig einsetzt

Bis hierhin ging es vor allem darum, KI-Anwendungen vor Angriffen und Fehlverhalten zu schützen. KI kann aber auch dabei helfen, die eigene Cyberabwehr zu verbessern. Wie das aussehen und wie euch KI helfen kann, zeigt euch die folgende Tabelle.

So kann euch KI unterstützen	Darauf solltet ihr achten
Threat Detection KI-gestützte Systeme analysieren Logdaten und Sicherheitsereignisse, um mögliche Bedrohungen früher sichtbar zu machen.	Auffälligkeiten müssen fachlich eingeordnet werden. Nicht jedes Signal ist ein Sicherheitsvorfall.
Anomalieerkennung Systeme identifizieren ungewöhnliche Muster und Aktivitäten, die auf einen Angriff oder eine Fehlkonfiguration hindeuten können.	Abweichungen sind nicht automatisch gefährlich. Ohne Kontext drohen Fehlalarme und falsche Prioritäten.
Priorisierung von Vorfällen KI kann dabei helfen, Meldungen schneller zu clustern und Hinweise auf dringende Fälle zu liefern.	Kritische Entscheidungen brauchen klare Verantwortlichkeiten und gegebenenfalls menschliche Freigaben.
Auswertung großer Datenmengen Wiederkehrende Auswertungen lassen sich beschleunigen und Security-Teams operativ entlasten.	Die Qualität der Ergebnisse hängt stark von Datenbasis, Modelllogik und klaren Kontrollmechanismen ab.

Wie in allen Unternehmensbereichen gilt auch hier: KI sollte nur dort eingesetzt werden, wo Verantwortlichkeiten geklärt sind und Entscheidungen bei Bedarf überprüfbar bleiben. Automatisierung soll die Sicherheit verbessern, nicht neue unkontrollierte Risiken schaffen.

Fazit: KI-Sicherheit ist kein Extra. Sie entscheidet, was möglich ist.

KI kann euch voranbringen. Doch jeder zusätzliche Zugriff und jede neue Verbindung muss zum tatsächlichen Einsatzzweck passen.

Dafür braucht es klare Regeln, begrenzte Berechtigungen, geschützte Daten und regelmäßige Sicherheitsprüfungen. Ebenso wichtig sind nachvollziehbare Prozesse und Mitarbeitende, die wissen, wie sie KI sicher einsetzen.

Der entscheidende Schritt ist, Sicherheit nicht nachträglich einzubauen, sondern von Anfang an mitzudenken. Denn am Ende zählt nicht, wie viele Türen KI öffnet. Entscheidend ist, dass ihr bestimmt, welche davon offenstehen. Im Rahmen des Webinar-Tages »dotSource Spotlight: AI« ging es unter anderem genau um dieses Thema. Sven Petzold, Team Leader Software Engineering, spricht über: »KI & Security: Sicherheit als Grundlage für belastbare Transformation«.

FAQs – häufig gestellte Fragen zum Thema KI-Sicherheit